采样是图形神经网络（GNN）培训的关键操作，有助于降低成本。以前的文献已经通过数学和统计方法探索了改进采样算法。但是，采样算法和硬件之间存在差距。在不考虑硬件的情况下，算法设计人员仅在算法级别优化采样，缺少通过利用硬件功能来促进现有采样算法效率的巨大潜力。在本文中，我们开创了一个为主流采样算法提出的统一编程模型，称为GNNSampler，涵盖了各个类别中采样算法的关键过程。其次，为了利用硬件功能，我们选择数据局部性作为案例研究，并在图中探索节点及其邻居之间的数据位置，以减轻采样中不规则的内存访问。第三，我们在GNNSampler中实现了各种采样算法的局部感知优化，以优化一般的采样过程。最后，我们强调在大图数据集上进行实验，以分析训练时间，准确性和硬件级指标之间的相关性。广泛的实验表明，我们的方法通用到主流采样算法，并有助于大大减少训练时间，尤其是在大规模图中。

As many deep anomaly detection models have been deployed in the real-world, interpretable anomaly detection becomes an emerging task. Recent studies focus on identifying features of samples leading to abnormal outcomes but cannot recommend a set of actions to flip the abnormal outcomes. In this work, we focus on interpretations via algorithmic recourse that shows how to act to revert abnormal predictions by suggesting actions on features. The key challenge is that algorithmic recourse involves interventions in the physical world, which is fundamentally a causal problem. To tackle this challenge, we propose an interpretable Anomaly Detection framework using Causal Algorithmic Recourse (ADCAR), which recommends recourse actions and infers counterfactual of abnormal samples guided by the causal mechanism. Experiments on three datasets show that ADCAR can flip the abnormal labels with minimal interventions.

To enable the pre-trained models to be fine-tuned with local data on edge devices without sharing data with the cloud, we design an efficient split fine-tuning (SFT) framework for edge and cloud collaborative learning. We propose three novel techniques in this framework. First, we propose a matrix decomposition-based method to compress the intermediate output of a neural network to reduce the communication volume between the edge device and the cloud server. Second, we eliminate particular links in the model without affecting the convergence performance in fine-tuning. Third, we implement our system atop PyTorch to allow users to easily extend their existing training scripts to enjoy the efficient edge and cloud collaborative learning. Experiments results on 9 NLP datasets show that our framework can reduce the communication traffic by 96 times with little impact on the model accuracy.

Performance of spoken language understanding (SLU) can be degraded with automatic speech recognition (ASR) errors. We propose a novel approach to improve SLU robustness by randomly corrupting clean training text with an ASR error simulator, followed by self-correcting the errors and minimizing the target classification loss in a joint manner. In the proposed error simulator, we leverage confusion networks generated from an ASR decoder without human transcriptions to generate a variety of error patterns for model training. We evaluate our approach on the DSTC10 challenge targeted for knowledge-grounded task-oriented conversational dialogues with ASR errors. Experimental results show the effectiveness of our proposed approach, boosting the knowledge-seeking turn detection (KTD) F1 significantly from 0.9433 to 0.9904. Knowledge cluster classification is boosted from 0.7924 to 0.9333 in Recall@1. After knowledge document re-ranking, our approach shows significant improvement in all knowledge selection metrics, from 0.7358 to 0.7806 in Recall@1, from 0.8301 to 0.9333 in Recall@5, and from 0.7798 to 0.8460 in MRR@5 on the test set. In the recent DSTC10 evaluation, our approach demonstrates significant improvement in knowledge selection, boosting Recall@1 from 0.495 to 0.7144 compared to the official baseline. Our source code is released in GitHub https://github.com/yctam/dstc10_track2_task2.git.

尽管配备的远景和语言预处理（VLP）在过去两年中取得了显着的进展，但它遭受了重大缺点：VLP型号不断增加的尺寸限制了其部署到现实世界的搜索场景（高潜伏期是不可接受的）。为了减轻此问题，我们提出了一种新颖的插件动态对比度蒸馏（DCD）框架，以压缩ITR任务的大型VLP模型。从技术上讲，我们面临以下两个挑战：1）由于GPU内存有限，在处理交叉模式融合功能期间优化了太多的负样本，因此很难直接应用于跨模式任务，因此很难直接应用于跨模式任务。 。 2）从不同的硬样品中静态优化学生网络的效率效率低下，这些样本对蒸馏学习和学生网络优化具有不同的影响。我们试图从两点克服这些挑战。首先，为了实现多模式对比度学习并平衡培训成本和效果，我们建议使用教师网络估算学生的困难样本，使学生吸收了预培训的老师的强大知识，并掌握知识来自硬样品。其次，要从硬样品对学习动态，我们提出动态蒸馏以动态学习不同困难的样本，从更好地平衡知识和学生的自学能力的困难的角度。我们成功地将我们提出的DCD策略应用于两个最先进的视觉语言预处理模型，即vilt和仪表。关于MS-Coco和FlickR30K基准测试的广泛实验显示了我们DCD框架的有效性和效率。令人鼓舞的是，与现有的ITR型号相比，我们可以至少加快推断至少129美元的$ \ times $。

本文研究了几种皮肤疾病分类问题。基于至关重要的观察，即皮肤病图像通常存在于一类中的多个子群体（即，一类疾病中图像的外观变化并形成多个不同的子组），我们设计了一种新型的亚群集感知网络，即扫描，以提高准确性以稀有皮肤疾病诊断。由于几次学习的性能很大程度上取决于学习特征编码器的质量，因此指导扫描设计的主要原理是每个类的内在子簇表示学习，以便更好地描述特征分布。具体而言，扫描遵循双分支框架，第一个分支是学习范围的特征以区分不同的皮肤疾病，第二个分支是学习可以有效地将每个班级划分为几个组的特征，以保留子 - 每个类中的聚集结构。为了实现第二个分支的目标，我们提出了一个集群损失，可以通过无监督的聚类学习图像相似性。为了确保每个子集群中的样品来自同一类，我们进一步设计了纯度损失，以完善无监督的聚类结果。我们在两个公共数据集上评估了拟议方法，以进行几次皮肤疾病分类。实验结果验证了我们的框架在SD-198和DERM7PT数据集​​上优于其他最先进方法约为2％至4％。

本文旨在通过分析图像文本检索模型的可重复性来为信息检索社区提供对检索学习最新进展的一些思考。由于过去十年中多模式数据的增加，图像文本检索已稳步成为信息检索领域的主要研究方向。许多研究人员使用MS-Coco和FlickR30K等基准数据集训练和评估图像文本检索算法。过去的研究主要集中在绩效上，以多种方式提出了多种最先进的方法。根据他们的断言，这些技术提供了改进的模态相互作用，从而更精确的多模式表示。与以前的作品相反，我们着重于方法的可重复性以及对元素的检查，这些元素通过验证的图像和文本在检索图像和文本时通过预验证和未经预处理的模型提高了性能。更具体地说，我们首先研究了相关的可重复性问题，并解释了为什么我们的重点是图像文本检索任务。其次，我们系统地总结了图像文本检索模型的当前范式以及这些方法的既定贡献。第三，我们分析了预审预测和未进行检索模型的复制的各个方面。为了完成这项工作，我们进行了消融实验，并获得了一些影响检索召回的因素，而不是原始论文中所主张的改进。最后，我们提出了未来检索社区应考虑的一些思考和挑战。我们的源代码可在https://github.com/wangfei-2019/image-text-retrieval上公开获得。

深度无形的神经网络（NNS）受到了极大的关注，因为它们的复杂性相对较低。通常，这些深度折​​叠的NN仅限于所有输入的固定深度。但是，收敛所需的最佳层随着不同的输入而变化。在本文中，我们首先开发了一个深层确定性策略梯度（DDPG）驱动的深度无折叠的框架，并针对不同输入进行自适应深度，在该框架中，DDPG学习了可训练的深度NN的可训练参数，而不是由随机梯度更新下降算法直接。具体而言，DDPG的状态，动作和状态过渡分别将优化变量，可训练的参数和架构分别设计为DDPG的状态，动作和状态过渡。然后，使用此框架来处理大量多输入多输出系统中的通道估计问题。具体而言，首先，我们通过离网基准制定了通道估计问题，并开发了稀疏的贝叶斯学习（SBL）基于基于的算法来解决它。其次，将基于SBL的算法展开为一组带有一组可训练参数的层结构。第三，采用了提出的DDPG驱动的深度解释框架来基于基于SBL的算法的展开结构来解决此通道估计问题。为了实现自适应深度，我们设计了停止分数以指示何时停止，这是通道重建误差的函数。此外，提出的框架被扩展到实现一般深度神经网络（DNNS）的适应性深度。仿真结果表明，所提出的算法的表现优于固定深度的常规优化算法和DNN，层数量大多。

我们研究了具有动态，可能的周期性的流量的预测问题和区域之间的关节空间依赖关系。鉴于从时隙0到T-1的城市中区的聚合流入和流出流量，我们预测了任何区域的时间t的流量。该地区的现有技术通常以脱钩的方式考虑空间和时间依赖性，或者在具有大量超参数曲调的训练中是相当的计算密集。我们提出了ST-TIS，一种新颖，轻巧和准确的空间变压器，具有信息融合和区域采样进行交通预测。 ST-TIS将规范变压器与信息融合和区域采样延伸。信息融合模块捕获区域之间的复杂空间依赖关系。该区域采样模块是提高效率和预测精度，将计算复杂性切割为依赖性学习从$ O（n ^ 2）$到$ O（n \ sqrt {n}）$，其中n是区域的数量。比最先进的模型的参数较少，我们模型的离线培训在调整和计算方面明显更快（培训时间和网络参数减少高达90±90 \％）。尽管存在这种培训效率，但大量实验表明，ST-TIS在网上预测中大幅度更准确，而不是最先进的方法（平均改善高达11 \％$ 11 \％$ ON MAPE上的$ 14 \％$ 14 \％$ 14 \％$ ON MAPE） 。

反事实遗憾最小化（CFR）}是在具有不完美信息的两个玩家零和游戏中查找近似NASH均衡的流行方法。 CFR通过迭代地遍历全游戏树来解决游戏，这限制了其在更大的游戏中的可扩展性。在将CFR应用于以前解决大型游戏时，大型游戏首先被抽象成小型游戏。其次，CFR用于解决抽象游戏。最后，解决方案策略被映射到原始大规模游戏。然而，该过程需要相当大的专家知识，抽象的准确性与专业知识密切相关。此外，抽象还失去了某些信息，最终会影响解决方案策略的准确性。对此问题，最近的方法，\纺织{Deep CFR}通过将深神经网络直接应用于完整游戏中的CFR来缓解抽象和专家知识的需求。在本文中，我们介绍了\ Texit {神经网络反事实遗憾最小化（NNCFR）}，一种改进的\ Texit {Deep CFR}，通过构造Dueling NetWok作为价值网络而具有更快的收敛性。此外，通过组合价值网络和蒙特卡罗来设计评估模块，这减少了值网络的近似误差。此外，新的损失函数是在提议的\ Texit {NNCFR}中的培训策略网络的过程中设计的，这可能很好，使策略网络更稳定。进行了广泛的实验测试，以表明\ Textit {nncfr}会聚得更快，并且比\ texit {deep cfr}更稳定，并且在测试中倾斜\ yexit {deep cfr} uperforms游戏。